VA-Judger: Reward Modeling from Human Preference Feedback for Joint Video-Audio Generation
VA-Judger：面向联合视频音频生成的人类偏好反馈奖励建模
🧭 多模态生成奖励建模 · 视频音频对齐
Fudan University · Shanghai Innovation Institution · Yinwang Intelligent Technology Co., Ltd
构建10K人类偏好数据集与评测基准，提出链式思考全模态奖励模型VA-Judger，通过分维度强化学习对齐人类偏好
📌 工作参考价值（4 点）
- 多模态生成评估中，单一标量奖励容易被 hack，可将评分分解为 prompt match、audio-visual consistency、audio quality、video quality、completeness 等维度，分别评分加总，使奖励更密集、可解释，也便于定位生成缺陷；类似电商广告视频生成可定义画面-文案一致性、卖点覆盖、音画同步等维度。
- 构建小规模人类偏好对比数据时，先让模型在明显差距样本上学习结构化输出，再用拒绝采样对难分样本蒸馏解释，降低人工标注成本；可用于业务中快速训练创意评估模型。
- 奖励模型后训练可采用 dimension-wise RL，把二元偏好分解到各维度，提供更密集训练信号，比只优化全局偏好更稳定；在广告创意 A/B 测试中可对应分维度打分作为辅助 reward shaping。
- CoT 让奖励模型输出各维分数和推理过程，便于线上审计和错误分析，但会增加推理延迟，业务中可在离线评估或数据标注环节使用，在线打分可只取结构化分数。